State-of-the-art automatic augmentation methods (e.g., AutoAugment and RandAugment) for visual recognition tasks diversify training data using a large set of augmentation operations. The range of magnitudes of many augmentation operations (e.g., brightness and contrast) is continuous. Therefore, to make search computationally tractable, these methods use fixed and manually-defined magnitude ranges for each operation, which may lead to sub-optimal policies. To answer the open question on the importance of magnitude ranges for each augmentation operation, we introduce RangeAugment that allows us to efficiently learn the range of magnitudes for individual as well as composite augmentation operations. RangeAugment uses an auxiliary loss based on image similarity as a measure to control the range of magnitudes of augmentation operations. As a result, RangeAugment has a single scalar parameter for search, image similarity, which we simply optimize via linear search. RangeAugment integrates seamlessly with any model and learns model- and task-specific augmentation policies. With extensive experiments on the ImageNet dataset across different networks, we show that RangeAugment achieves competitive performance to state-of-the-art automatic augmentation methods with 4-5 times fewer augmentation operations. Experimental results on semantic segmentation, object detection, foundation models, and knowledge distillation further shows RangeAugment's effectiveness.

SGD在分布式和多GPU系统上的实现创建了新的漏洞，可以通过一个或多个对抗代理来识别和滥用这些漏洞。最近，已经显示出众所周知的拜占庭式弹性梯度聚集方案确实容易受到可以定制攻击的知情攻击者的影响（Fang等，2020; Xie等，2020b）。我们介绍了Mixtailor，这是一种基于聚合策略的随机化计划，使攻击者无法充分了解。确定性方案可以直接将其集成到混合式尾勒中，而无需引入任何其他超参数。随机化降低了强大的对手来量身定制其攻击的能力，而随之而来的随机聚合方案在性能方面仍然具有竞争力。对于IID和非IID设置，我们建立了几乎确定的融合保证，这些保证既比文献中可用的融合更强大，更一般。我们在各种数据集，攻击和设置中进行的实证研究验证了我们的假设，并表明当知名的拜占庭耐受性计划失败时，Mixtailor会成功辩护。

深度学习已经彻底改变了机器学习和人工智能，在几个标准基准中实现了超人的表现。众所周知，深入学习模式效率低下;他们通过多次处理数百万训练数据来学习，并且需要强大的计算资源来同时并行地处理大批次的数据而不是顺序。深度学习模型也有意外的失效模式;他们可以被愚弄到行为不端，产生意外不正确的预测。在本文中，我们研究了提高深度学习模式的培训效率和鲁棒性的方法。在学习视觉语义嵌入的背景下，我们发现优先考虑更多信息训练数据的学习，提高了收敛速度并提高了测试数据的泛化性能。我们将一个简单的技巧形式形式化，称为硬负挖掘作为对学习目标函数的修改，没有计算开销。接下来，我们寻求改进深度学习中通用优化方法的优化速度。我们表明，对培训数据采样的冗余感知修改提高了训练速度，并开发了一种用于检测训练信号的分集的有效方法，即渐变聚类。最后，我们研究深入学习的对抗性鲁棒性，并在不使用其他数据的情况下实现最大的对抗性鲁棒性。 For linear models, we prove guaranteed maximal robustness achieved only by appropriate choice of the optimizer, regularization, or architecture.